【レポート】Amazon OpenSearch Service 最新情報 #reinvent #ANT206

prismatixのとばち（@toda_kk）です。

AWS re:Invent 2022で行われたBreakout Session"What’s new in Amazon OpenSearch Service"のレポートをお伝えします。

このセッションは、直近で発表されていたAmazon OpenSearch Serviceの主なアップデート内容について解説するものとなっています。

なお、Breakout Sessionは後ほど動画でもアーカイブが公開される内容となっています。

また本記事では、ラスベガス現地から参加した際の写真を掲載しているため、スライド画像などが少し粗くなってしまっておりますが、なんとなく現地の雰囲気が伝われば幸いです。

セッション概要

Amazon OpenSearch Service is a fully managed service that makes it easy for you to deploy, secure, and run OpenSearch and Apache 2.0–licensed Elasticsearch clusters cost-effectively at scale. The OpenSearch project is a community-driven, open-source fork of Elasticsearch and Kibana. This session discusses use cases, best practices, and newly launched features. In addition, it covers observability features and what to expect in the future.

スピーカー

• Rajiv Taori, Principal PM-T, AWS
• Mukul Karnik, GM, Amazon OpenSearch Service, Amazon Web Services

動画

セッションレポート

アジェンダ

• Introduction to Amazon OpenSearch Service
• Innovations in OpenSearch - search, log analytics/observability
• What's new in Amazon OpenSearch Service - cost optimizations, security, and automation at scale
• Road ahead

Introduction to Amazon OpenSearch Service

• はじめは、Webやネイティブアプリ向けの検索サービスとして始まった。
• そこからだんだんと要望が追加されていき、機能が追加されていった。
  • コスト最適化、スケーラビリティ、セキュリティ
  • 機械学習
  • Observability
• OpenSearchはOSSとして提供されており、140万回以上ダウンロードされ、メンテナやコントリビュータによって機能改善されている

• Amazon.comなどでは、全文検索エンジンとして使われている
• それだけではなく、ストリーミングデータの分析でも使われている
  • リテールやヘルスケアといった業界における時系列データを保存し、素早く分析できる

• どのようにして動くか？
  • ログやアプリケーションのデータをOpenSearchに保存する
  • OpenSearchでは、内部的にはApache Luceneによってデータがindexingされる
  • OpenSearch Dashboardsで、データ分析者、DevOpsエンジニア、セキュリティ担当者などがデータを参照する

• Amazon OpenSearch Serviceの利点
  • マネージドであること
  • セキュアであること
  • コスト面での優位性
  • Observability

Innovations in OpenSearch - search, log analytics/observability

• OpenSearchは2022年だけで、10回以上のリリースがあり、100以上の機能が追加されている
  • 開発が活発で、勢いのあるOSS

検索におけるInnovations

• 検索における機械学習
  • k-NNのサポート
    • k-NNは類似検索（similarity search）に利用される

• 関連度による検索の改善
  • セマンティック検索（OpenSearch 2.4によって追加された実験的な機能）
    • ニューラルモデルを用いている
    • BM25というフレームワークを用いて、フリーワード検索における関連度を計算している

• セマンティック検索のデモ
  • 上図は、OpenSearch DashboardsのSplit Viewを利用している
  • 左が通常のキーワード検索、右がセマンティック検索を使って、"wild west"というワードで検索してみた結果が表示されている
    • セマンティック検索では、与えられた検索ワードから類似する画像を表示する

ObservabilityにおけるInnovations

• OpenSearchによるObservabilityの実現
  • OpenSearchにObservabilityのためのデータを保存する
    • Log
    • Trace
    • 時系列index
  • Data Prepperというツールを用いてlogs, metrics, tracesのデータを収集する
  • Prometheus、Amazon CloudWatchやinfluxDBとの連携

• データパイプラインの必要性について
  • コスト観点
  • データの品質: データの標準化、スキーマの適用など
  • プライバシー
  • ストリーミング分析

• OpenSearch Data Prepperは、データパイプラインをつくるためのツール
• OpenSearchにおけるObservability
  • 分散トレーシング
  • APM
  • ログモニタリングやイベント分析
  • メトリクス分析
    • 特に、OpenSearch 2.4以降ではPrometheusメトリクスをサポート
• ログパターンの分析
  • 不正な動作を検知できる
• 異常検知の強化

• Event analyticsのデモ
  • グラフによる視覚化や、正規表現によるパターン検索、項目ごとのソートなどができる
• ちなみに、何度も行うような分析にはNotebooksが便利
  • 参考: Feature Deep Dive: OpenSearch Dashboards Notebooks · OpenSearch

What's new in Amazon OpenSearch Service - cost optimizations, security, and automation at scale

2022年にあった主なアップデートを紹介。

• コスト最適化
  • gp3ボリュームタイプのサポート
• セキュリティ
  • AWS PrivateLinkのサポート
  • きめ細やかなアクセスコントロールのサポート
• スケーリング
  • 設定変更時のB/Gデプロイに関連する機能の強化
  • 運用の自動化に関する改善
    • 通知関連の強化

Road ahead

• 今後の改善予定、ロードマップを簡単に紹介

• セキュリティ分析の紹介
  • OpenSearch 2.4による実験的な機能

Amazon OpenSearch Serviceの最新情報をキャッチアップできる内容でした！

私が所属しているprismatixでは、EC/CRMに向けたAPIプラットフォームサービスの一つとして、現在はElasticsearchを利用した検索サービスの提供を行っています。

将来的なマネージドなOpenSearch Serviceの利用検討を視野に入れた情報収集という点で、大変有益なセッションとなっていました。

また、Prometheusといった他のOSSとの連携を積極的にサポートしている点が印象的でした。

OpenSearchをご利用中の方や全文検索エンジンの導入を検討されている方、Obsearvabilityツールとして活用したい方など、ぜひアーカイブ動画をご覧になってみてください！

以上、prismatixのとばち（@toda_kk）でした。